Pompeo sinh ra ở Orange, California, con trai của bà Dorothy (nhũ danh Mercer) và ông Wayne Pompeo.[7][8] Ông là người gốc Ý một phần. Bà nội của ông sinh ra ở Caramanico Terme.[9]. Năm 1982, Pompeo tốt nghiệp từ Trường trung học Los Amigos ở Fountain Valley, California, California, nơi ông chơi vị trí tiền đạo chính cho đội bóng rổ.[10] Năm 1986, Pompeo tốt nghiệp đầu tiên trong lớp học của ông từ Học viện Quân sự Hoa Kỳ tại West Point chuyên ngành cơ khí.

Từ năm 1986 đến năm 1991, Pompeo phục vụ trong Quân đội Hoa Kỳ với vị trí quan kỵ binh thiết giáp, quân hàm đại úy.[2] Ông đã phục vụ trong Kỵ binh Hoa Kỳ tuần tra Bức màn Sắt trước sự sụp đổ của bức tường Berlin.[11] Ông cũng phục vụ trong Sư đoàn 2, Trung đoàn kỵ binh 7, Sư đoàn bộ binh 4 trong chiến tranh vùng Vịnh.[12]

Năm 1994, Pompeo nhận được bằng tiến sĩ từ Trường Luật Harvard, nơi ông là thành viên ban biên tập gồm 81 thành viên[13] của Harvard Law Review.[2] Sau khi tốt nghiệp, ông làm luật sư cho Williams & Connolly.[14]